#training dynamics

4 篇

The Life Cycle of a Massive Activation: Stochastic Birth, Weight-Decay-Driven Growth, and Competitive Consolidation

大规模激活的生命周期：随机诞生、权重衰减驱动的增长与竞争性巩固

🧭 Transformer 训练动态 · 激活规模调控

Aimpoint Digital Labs, Atlanta, GA, USA · Mistral AI, Paris, FR · New York University, New York, NY, USA

揭示 transformer 中 massive activations 由 AdamW 预条件增长与 weight decay 平衡驱动，权重衰减控制其峰值与衰减

📌 工作参考价值（4 点）

在微调 LLM 或生成式推荐模型时，若发现 attention sink 激活异常，可通过增大 weight decay 压制峰值；继续预训练时降低 weight decay 则允许 large activation 继续增长，需结合梯度流稳定性权衡。
监控 residual stream 激活时不要只看单个 channel，应关注 sink token 的 collective RMS：梯度衰减由整体规模决定，单通道指标会误导。
在做量化或 KV cache 优化前，先检查 massive activation 的规模；weight decay 调度可作为训练期控制激活量级的杠杆，避免异常激活导致量化误差或注意力偏差。
对训推一体的推荐/Agent 系统，AdamW 的 weight decay 系数可影响模型激活分布，进而改变推理时 attention sink 强度，需要纳入超参搜索范围。

Training | 2026-10-04 | HF Daily | score 6/10

Studying Image Tokenizers as Visual Languages in Unified Multimodal Models

统一多模态模型中图像分词器作为视觉语言的研究

🧭 多模态模型训练与图像分词器评估

University of Washington · Amazon FAR

通过跟踪分任务验证损失，揭示图像分词器与文本联合建模时的损失-性能关系及设计影响

📌 工作参考价值（4 点）

在多模态联合训练中，按 task 分别监控 validation loss（text、image、T2I、I2T），而不是只看整体 loss，可以更早定位数据配比、分词器或训练不稳定的问题；尤其适用于电商图文统一模型（如商品图 + 文案生成）。
选图像 tokenizer 时，用 I2T loss（基于共享文本词表）作为跨模型一致的评估信号，比 T2I loss 或重建指标更稳定，且与下游生成和视觉理解性能都相关；适合作为早停、模型选择或在线监控指标。
不要单独根据重建质量（如 FID、SSIM）选择图像 tokenizer，因为更好的重建不保证更低的任务损失或更强的下游性能；应该结合任务损失和实际业务指标（如商品图到文案的匹配度、点击率）做融合判断。
图像 tokenizer 的选择会影响联合优化下的文本建模，因此当在同一模型中同时处理商品图片和文本时（如视觉问答、图文搜索），更换 tokenizer 后需要重新检查文本侧的 fine-tune 效果和 loss 变化。

Multimodal | 2026-09-07 | HF Daily | score 6/10

image tokenizer multimodal autoregressive training dynamics evaluation

Phase Transitions in Attention: A Bayesian Theory of Copy Head Emergence

注意力中的相变：复制头涌现的贝叶斯理论

🧭 Transformer 注意力机制训练动力学

Racah Institute of Physics, Hebrew University of Jerusalem · John A. Paulson School of Engineering and Applied Sciences, Harvard University · Institute for Advanced Simulation (IAS-6), Computational and Systems Neuroscience, Jülich Research Center · Institute of AI for Health, Helmholtz Munich · RWTH Aachen University

用贝叶斯框架证明 softmax 注意力在复制任务上随数据量出现一阶相变，解释了复制头的突然涌现

📌 工作参考价值（3 点）

主要是基础理论贡献，对电商/Agent/推荐系统的直接工程迁移有限。
理解 ICL 能力涌现的相变特性，可在训练 Agent 时监控注意力序参量，辅助决定数据投入与 checkpoint 选择。
线性注意力与 softmax 注意力的不同相变行为（二阶 vs 一阶）提示：若需要训练过程更平滑，可考虑线性注意力变体，但需权衡最终性能。

Training | 2026-06-10 | stat.ML | score 7/10

phase transition attention mechanism Bayesian theory in-context learning induction head training dynamics

Assign and Add: A Mechanistic Study of Compositional Arithmetic

分配与相加：组合算术的机制研究

🧭 Transformer组合泛化机制与训练动态

Yale University · Flatiron Institute

通过变量分配与模加任务，揭示Transformer组合泛化的内部机制、训练动态和模块复用方式

📌 工作参考价值（4 点）

多技能Agent的训练策略：论文发现模型分三阶段学习（先原子技能模加、再组合结构、最后泛化到难样本），在训练电商Agent或多技能推荐系统时，可采用类似课程学习，先确保单一能力收敛再混合任务，避免联合训练导致的负迁移。
模块复用的架构启发：同一MLP模块在直接和间接输入下均实现模加，表明模型自发形成可复用电路。设计生成式推荐或Query改写模型时，可刻意为共享子任务预留模块化组件（如专用LoRA分支），提升参数效率和组合泛化。
组合泛化的验证方法：通过划分不相交训练集测试未见过组合的泛化能力，可作为评估推荐模型对新用户-新商品交互、新搜索词组合鲁棒性的内部基准，提前发现模型是否真正理解底层规则而非记忆。
注意训练后期的“精调”阶段：本文观察到最终阶段模型学会处理训练中未见的困难序列，暗示适当延长训练或加入类似难例挖掘的机制可能对复杂推理任务有益，对需要处理长尾查询或冷启动场景的电商Agent有参考意义。

Reasoning | 2026-05-29 | cs.LG | score 7/10

compositional generalization mechanistic interpretability modular addition training dynamics transformers